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Samenvatting 


De beleidsdoorlichting van het begrotingsartikelen 21 Duurzaamheid is 
conform de aan een beleidsdoorlichting gestelde eisen uitgevoerd. Voor de 
beleidsdoorlichting is een groot aantal relevante en representatieve 
documenten geraadpleegd en zijn deskundigen geconsulteerd. Door de 
onderzoekers van KplusV is in korte tijd veel en goed werk verzet. Daarbij 
hadden de onderzoekers te maken met zowel beperkingen in het 
onderzoeksmateriaal als met beperkingen in het beleidskader. Beperkingen 
in het onderzoeksmateriaal betroffen de aanwezigheid van studies op het 
gebied van doeltreffendheid en met name doelmatigheid. Beperkingen in 
het beleidskader betroffen met name de operationaliseerbaarheid van 
doelen, de koppeling met en het inzicht in de uitgaven en de explicietheid 
van de beleidstheorie. 

Gegeven deze beperkingen zijn de drie sub-artikelen 21.3, 21.2 en 21.3 in 
het algemeen correct en voldoende onderbouwd doorgelicht. Een 
beleidsdoorlichting bestaat uit het beantwoorden van een dertiental vragen 
over het beleidskader en de doeltreffendheid en efficiëntie van het 
beschouwde beleid. Op deelaspecten worden in deze externe beoordeling 
evaluatie methodologische kanttekeningen gemaakt, zoals bijvoorbeeld ten 
aanzien van effectmeting versus doelbereiking en het omgaan met 
beleidseffecten versus beleidsprestaties. 

Vanuit het criterium van validiteit raken uitspraken in de hoofdrapportages 
soms de grenzen van wat op basis van de drie deelrapportages 
geconcludeerd kan worden. De totaalconclusie dat de doeltreffendheid van 
het beleid voor duurzaamheid redelijk tot goed \s, is niet alleen een geval 
van een half vol of half leeg glas, maar een dergelijke conclusie kan alleen 
gebaseerd zijn op het beschouwde en onderzochte beleid en het 
beschikbare onderzoeksmateriaal. 

Het beschouwde beleid beperkte zich tot het deel van artikel 21 waarvoor 
het ministerie van Infrastructuur en Milieu en de directie Duurzaamheid 
trekker zijn. Alleen voor dat deel kunnen conclusies getrokken worden. En 
alleen voor zover dit gebaseerd kan worden op bestaande studies. De 
doelbereiking van beleid kan heel hoog zijn en de doeltreffendheid toch heel 
laag en omgekeerd, omdat het immers gaat om de vraag of het beleid heeft 
bijgedragen aan de doelbereiking. 

Probleem met een conclusie over de algemene doelstelling van artikel 21 is 
de operationalisering van het begrip duurzame ontwikkeling. De optelsom 
van de drie sub-artikelen leiden tot een conclusie over ecologische 
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duurzaamheid, eventueel als kader voor economische en sociale 
ontwikkelingen. De formulering van de tekst van artikel 21, het tegengaan 
van de afwenteling van de effecten van de Nederlandse productie en 
consumptie op andere leefgebieden en op toekomstige generaties, kan 
breder worden opgevat als evenwichtige ecologische, economisch en 
sociale ontwikkelingen. Duurzame ontwikkeling gaat niet alleen over het 
milieu en niet alleen over het leven van vandaag^ 

De aanbevelingen spitsen zich toe op de nieuwe terugtredende rol van de 
rijksoverheid en een pleidooi voor een verdere uitbouw van de al in gang 
gezette nieuwe sturingsfilosofie. In het algemeen kan verklaring van de 
mate van doeltreffendheid van beleid liggen in een falende beleidstheorie of 
in een falende beleidsuitvoering. De roep om een nieuwe interventielogica, 
terwijl het oordeel over de effectiviteit van het huidige beleid volgens de 
beleidsvoorlichting vrij positief is, wordt onderbouwd met het argument van 
de nieuwe maatschappelijke rol van de overheid, maar ook met de 
afnemende opbrengsten van het huidige beleid en de afnemende middelen 
van de rijksoverheid. Dit veronderstelt dat de nieuwe sturingsfilosofie 
doelmatiger is, terwijl een duidelijk oordeel over de doelmatigheid van het 
huidige beleid ontbreekt. De effecten van de nieuwe sturingsfilosofie zijn 
anders geformuleerd, namelijk als datgene wat de rijksoverheid aan 
activiteiten bij maatschappelijke partners realiseert. Het roept dan vragen op 
hoe zich dit verhoudt tot de te bereiken effecten, vaak ingegeven door 
Europees beleid, aan het einde van de oorzaak-en gevolgketens in de vorm 
van bijvoorbeeld effecten in ecosystemen. En over de verantwoordelijkheid 
van de minister voor deze uiteindelijke effecten en de manipuleerbaarheid 
en meetbaarheid van deze processen. 


De duurzaamheidsmonitor 2011 noemt veel zorgelijke sociale en economische ontwikkelingen die 
geen milieuontwikkelingen zijn en in deze beleidsdoorlichting niet aan de orde zijn 
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Inleiding 


1.1 Doel externe beoordeling 


Het CSTM^ van de Universiteit Twente is gevraagd een externe beoordeling 
te geven over de Beleidsdoorlichting artikel 21 Duurzaamheid van de 
begroting van het Ministerie van Infrastructuur en Milieu 2013. Een 
beleidsdoorlichting is een syntheseonderzoek naar zowel de 
doeltreffendheid als de doelmatigheid van al het beleid van een geheel 
beleidsartikel of van een substantieel, samenhangend deel van een 
beleidsartikel. 

De Regeling Periodiek Evaluatieonderzoek (RPE) schrijft voor dat bij de 
uitvoering van een beleidsdoorlichting tenminste één onafhankelijke 
deskundige betrokken is om te waarborgen dat het onderzoek voldoet aan 
de kwaliteitseisen uit het eerste lid artikel 3 (zie hierna). Het CSTM is de 
vakgroep van de Universiteit Twente die onderzoek doet en onderwijs geeft 
op het gebied van milieubeleid en andere beleidsterreinen die relevant zijn 
voor duurzame ontwikkeling. Het CSTM heeft daarbij veel expertise en 
ervaring opgebouwd op het terrein van (milieu)beleidsevaluaties maar heeft 
geen verantwoordelijkheid gedragen voor het te onderzoeken beleid. 

We maken in deze rapportage een onderscheid tussen de externe 
beoordeling over de beleidsdoorlichting zelf (uitvoering, kwaliteit, 
conclusies, etc.) en onze second opinion die losstaat van de kwaliteit van de 
uitgevoerde beleidsdoorlichting, zoals de context waarbinnen de 
doorlichting is uitgevoerd en de (on)mogelijkheden van de 
beleidsdoorlichting. 

Voor de externe beoordeling zijn tussenconcepten gelezen, is er gesproken 
met de projectuitvoerders over de voortgang van de beleidsdoorlichting en 
is er aangeschoven bij begeleidingscommissie-bijeenkomsten, echter 
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zonder de intentie als externe beoordelaar een lid van de 
begeleidingscommissie te worden. 


1.2 Beleidsdoorlichting als vorm van evaluatie 

Ons inziens is het bij het beoordelen van een beleidsdoorlichting van groot 
belang om voor ogen te houden wat de aard van een beleidsdoorlichting is 
voor zowel de te hanteren beoordelingscriteria als ten aanzien van de 
verwachtingen die men van een beleidsdoorlichting mag hebben. 

Een beleidsdoorlichting; 

1. is een brede vorm van verantwoordingsevaluatie; 

2. is een synthese-evaluatie 

3. richt zich op een oordeel over de doeltreffendheid en doelmatigheid van 
het beleid, zodat inzicht ontstaat in de werking van het beleid. 

Ad 1 Met behulp van periodiek evaluatieonderzoek legt een vakminister 
tegenover het parlement verantwoording af over het gevoerde beleid zoals 
vastgelegd in de Comptabiliteitswet (CW). Bij een beleidsdoorlichting gaat 
het om een algemene doelstelling van de begroting, in dit geval om artikel 
21 Duurzaamheid van de begroting van het ministerie van Infrastructuur en 
Milieu 2013. De vraagt om andere criteria en een andere wijze van 
beleidsleren dan bij een beleidsevaluatie in beleidscyclus over een 
doelstelling lager in de doelenhiërarchie en die niet noodzakelijkerwijs aan 
het parlement hoeft te worden aangeboden. 

Ad 2 Bij een synthese-evaluatie gaat het om compilatie van een aantal 
(deel)evaluaties tot een samenvattende synthesestudie en niet om een 
beoordeling van het reeds verrichtte beleidsevaluatie-onderzoek zelf (meta- 
evaluatie). Kenmerken van een synthese-evaluatie® zijn: 

• Een formele onderzoeksopzet met criteria (in de beleidsdoorlichting 
ontleend aan de RPE) en op maat gemaakt voor de behoeften van 
de specifieke beleidsevaluatie; 

• Het onderzoek is idealiter geleid door experts; 

• De onderzoekspopulatie bestaat uit bestaande studies en rapporten 
die gevonden worden met hulp van experts en opdrachtgever; 

• Welk evaluatieonderzoek wel of niet wordt meegenomen is 
gebaseerd op het doel van de evaluatie en op de evaluatievragen. 

Met deze kenmerken onderscheid een synthese-evaluatie zich van andere 
vormen van breder leren en evalueren, zoals meta-evaluaties en 
(academische) systematische reviews. 
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Beoordelingscriteria beleidsdoorlichting 


Doel van de externe beoordeling is een onafhankelijk oordeel geven over de 
uiteindelijke beleidsdoorlichting, de tussenproducten en de procesgang. De 
beoordeling is uitgevoerd aan de hand van de criteria ontleend aan de 
Regeling Periodiek Evaluatieonderzoek (RPE) voor de Rijksoverheid. De 
regeling geeft in Artikel 2 een aantal kwaliteitseisen voor onderzoek naar 
doeltreffendheid en doelmatigheid. De RPE refereert daarmee aan de 
algemene criteria voor (evaluatie)onderzoek van validiteit en 
betrouwbaarheid. In de context van een beleidsdoorlichting zijn de vereisten 
anders dan bij een project of beleidsevaluatie. De regeling refereert ook aan 
de bruikbaarheid van de beleidsdoorlichting 

Validiteit 

Validiteit heeft betrekking op de algemene geldigheid van het 
onderzoekontwerp, inclusief de gehanteerde begrippen en instrumenten. De 
centrale vraag is of men met het onderzoek daadwerkelijk meet wat men 
denkt en beoogt te meten. Voor een synthese-onderzoek in een 
beleidsdoorlichting geldt als eerste eis dat het onderzoek (lid 2a) duidelijk 
maakt welk beleid is onderzocht en wat de doelstellingen van dat beleid zijn. 
Dit is het methodologisch vereiste van een correcte probleemstelling en is 
noodzakelijk voor een correcte attributie van reikwijdte en de vraag of 
conclusies ook opgaan voor een andere tijdsperiode en niet onderzochte 
doelstellingen {externe validiteit). Onder interne validiteit verstaan we de 
kwaliteit van het onderzoek in brede zin vanuit de vraag of door middel van 
deze onderzoeksopzet de te trekken conclusies uit het onderzoek wel valide 
zijn. Daarvoor moet het onderzoek beogen de vraag te beantwoorden in 
hoeverre het beleid doeltreffend en/of doelmatig is (lid 2); moeten de 
conclusies van het onderzoek zijn onderbouwd door onderliggende 
bevindingen (lid 2c) en de in het onderzoek gebruikte onderzoeksmethoden 
valide en betrouwbaar zijn (lid 2e). 


Betrouwbaarheid 

Dit criterium heeft vooral betrekking op de stabiliteit van de 
onderzoekuitkomsten. Dat wil zeggen op de vraag of herhaling van het 
onderzoek hetzelfde resultaat zou opleveren (repliceerbaarheid). De RPE 
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vereist inzicht in de gebruikte evaluatiemethode en de (on-)mogelijkheden 
om de doeltreffendheid en/of doelmatigheid van het betreffende beleid vast 
te stellen (lid 2d). 

Bruikbaarheid 

Bij bruikbaarheid gaat het om de vraag of voor gebruikers het onderzoek 
hun specifieke informatiebehoeften bevredigt en of de implementatie van de 
aanbevelingen die op het onderzoek zijn gebaseerd, binnen hun vermogen 
ligt. Bij de bruikbaarheid van een beleidsdoorlichting speelt dan het inzicht 
in de algemene werking van het beleid, de aandacht voor de onderliggende 
beleidstheorie en de leesbaarheid en toegankelijkheid van de doorlichting. 

Noodzakelijke onderdelen beleidsdoorlichting 

De RPE vertaalt de algemeen kwaliteitseisen in een aantal noodzakelijke 
onderdelen van een beleidsdoorlichting: 

a. Een afbakening van het te onderzoeken beleidsterrein; 

b. De gehanteerde motivering voor het beleid en de met het beleid 
beoogde doelen; 

c. Een beschrijving van het beleidsterrein en onderbouwing van de 
daarmee gemoeide uitgaven; 

d. Een overzicht van eerder uitgevoerd onderzoek naar doeltreffendheid 
en doelmatigheid en een onderbouwing van de gekozen 
evaluatieprogrammering; 

e. De effecten van het gevoerde beleid en een analyse en beoordeling van 
de doeltreffendheid en doelmatigheid van het gevoerde beleid, dat wil 
zeggen alle instrumenten in hun onderlinge samenhang. 

Deze onderdelen van een beleidsdoorlichting zijn in de toelichting bij de 
RPE uitgewerkt in een dertiental onderzoeksvragen die beantwoord moeten 
worden in een beleidsdoorlichting. 

Beperking beleidsdoorlichting 

De RPE gebruikt de formulering dat de beleidsdoorlichting ‘voor zover 
mogelijk’ een oordeel geeft over de doeltreffendheid en doelmatigheid van 
het onderzochte beleid in zijn geheel. Net als bij elk (evaluatie)onderzoek 
moet er een balans gevonden worden tussen methodologische en 
epistemologische vereisten van onderzoek, de vereisten van bruikbaarheid 
en de beperkingen in doorloop- en nominale tijd voor het onderzoek en het 
beschikbare onderzoeksmateriaal. 


Hoofdvragen externe beoordeling 

Op basis van bovenstaande criteria beantwoorden we drie vragen in de 
externe beoordeling: 
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1. Zijn de standaardvragen voor een beleidsdoorlichting inhoudelijk 
correct en voldoende onderbouwd beantwoord en is aan alle 
onderdelen voldoende en evenwichtig aandacht besteed? 

2. Is de beleidsdoorlichting op de juiste manier uitgevoerd? 

3. Zijn de aanbevelingen voor de bijsturing van het beleid passend en 
voldoende onderbouwd? 

Ad 1. De standaardvragen zijn gebaseerd op de ‘Regeling Periodiek 
Evaluatieonderzoek’ en is een uitwerking van het criterium van validiteit. 
Ad 2. Bij juiste uitvoering kan men denken manier aan het raadplegen van 
de juiste documenten, het interviewen van de juiste (representatieve) 
deskundigen, etc. Dit relateert aan het criterium van betrouwbaarheid. 

Ad 3. De laatste vraag relateert aan de externe validiteit en de 
bruikbaarheid van de aanbevelingen. 
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Beantwoording standaardvragen 


In deze paragraaf beantwoorden we de eerste vraag; zijn de 
standaardvragen voor een beleidsdoorlichting inhoudelijk correct en 
voldoende onderbouwd beantwoord en is aan alle onderdelen voldoende en 
evenwichtig aandacht besteed? Per standaardvraag gaan we voor zover 
relevant ook in op de tweede vraag; is de beleidsdoorlichting op de juiste 
manier uitgevoerd? 

We beantwoorden de eerste vraag door aan te geven of naar ons oordeel 
de standaardvragen van de RPE voldoende zijn beantwoord en daar 
eventueel kanttekeningen bij te plaatsen zijn. Daarbij gebruiken we vooral 
informatie uit de beleidsdoorlichting zelf. Er was slechts een beperkte ruimte 
deze informatie te verifiëren en terug te grijpen op het bronnenmateriaal. 
Bestudering van evaluaties die in deze doorlichting zijn worden gebruikt is 
niet alleen niet doenlijk, maar zou ook het door de projectuitvoerders 
verrichtte werk nog eens overdoen. 

Afbakening van het beleidsterrein 

1) Welk artikel (onderdeel) wordt behandeld in de beleidsdoorlichting? 

De RPE stelt dat een beleidsdoorlichting in principe gericht is op het hele 
beleidsartikel, maar laat vanwege de omvang van sommige beleidsartikelen 
de mogelijkheid open om het artikel in delen door te lichten. Een belangrijk 
uitgangspunt voor de RPE is dat vakministers verantwoordelijk zijn voor de 
doeltreffendheid en de doelmatigheid van het beleid dat aan hun begroting 
ten grondslag ligt. In de evaluatieperiode zijn ministeries samengevoegd en 
taken veranderd van ministerie, maar ook binnen l&M zijn taken veranderd 
van dienst en directie. 

De onderzoekers hebben hun demarcatie welk deel van het beleidsartikel 
wel en niet mee te nemen gebaseerd op het programma van eisen voor de 
beleidsdoorlichting en een nadere operationalisering in overleg met het 
ministerie en de begeleidingscommissie. De beleidsdoorlichting van het 
artikel 21 richt zich op dat deel van het artikel waarvoor het Ministerie van 



Infrastructuur en Milieubeheer primaire verantwoordelijkheid draagt. Naast 
het trekkerschap van het ministerie is ook het primaire verantwoordelijkheid 
van de directie Duurzaamheid als afbakeningscriterium genomen. 

De onderzoekers plaatsen zelf kanttekeningen bij de waarde van de 
afbakening. Volgens de RPE moet als niet een geheel artikel bekeken wordt 
de beleidsdoorlichting wel betrekking hebben op een substantieel en 
samenhangend deel van het artikel. En er moet een relatie blijven bestaan 
tussen het onderzochte deel en het behalen van de algemene doelstelling 
van het beleidsartikel. 

Het is duidelijk dat er consequenties zijn voor de beleidsdoorlichting als 
doelstellingen die vallen onder andere ministeries en directies niet worden 
meegenomen. We onderschrijven dat het artikel 21 een integraal karakter 
heeft maar zijn van mening dat het wel onderzochte deel substantieel 
genoeg is voor een systematisch en samenhangende beleidsdoorlichting. 

De noodzaak tot afbakening van het te onderzoeken beleidsobject is 
inherent aan elke vorm van beleidsevaluatieonderzoek. Door de gekozen 
afbakening in deze beleidsdoorlichting is er nog steeds zicht op het 
bereiken van de algemene doelstelling van het beleidsartikel. 

Naar onze mening: 

- is het gekozen afbakeningscriterium consequent en consistent 
toegepast; 

- leidt opsplitsing van de achtergrondrapporten over drie sub-artikelen tot 
een substantiële en samenhangend beleidsdoorlichting; 

- bevat op het niveau van de sub-artikelen de beleidsdoorlichting geen 
conclusies over niet onderzochte onderdelen; 

- moet bij het optellen van de doeltreffendheidsoordelen op basis van de 
sub-artikelen voor het totale artikel voorzichtigheid worden betracht (zie 
hierna). 

2) Indien van toepassing: wanneer worden / zijn de andere 
artikelonderdelen doorgelicht? 

In de rapportages is aangeven dat over bepaalde onderdelen de Kamer op 
andere wijze wordt ingelicht. Over andere, niet meegenomen artikeldelen, 
geeft deze beleidsdoorlichting geen oordeel. Door de wisseling van het 
trekkerschap van het ministerie van l&M en de directie Duurzaamheid bevat 
de beleidsdoorlichting wel informatie over niet-geëvalueerde onderdelen die 
bijvoorbeeld in een deel van de onderzoeksperiode wel tot de primaire 
verantwoordelijkheid hoorden. Ook bevatten de achtergrondrapportages 
een opsomming van een aantal doelen en/of instrumenten waarover in deze 
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beleidsdoorlichting geen uitspraak gedaan worden, omdat de onderwerpen 
te recent zijn en/of omdat een eerste evaluatie ervan nu gaande is of 
binnenkort zal starten. 

Motivering van het gevoerde beieid 

3) \Nat was de aanleiding voor het beleid? Is deze aanleiding nog actueel? 

De onderzoekers hebben per sub-artikel en per sub-thema aangegeven wat 
de aanleiding was voor het beleid en hoe het beleid zich heeft ontwikkeld. 

Uit de schets van de ontwikkeling volgt in hoeverre de oorspronkelijke 
aanleiding nog actueel is. De geschiedenis van beleid loopt over langere 
perioden en de doorsnede van 2006-2013 is dan arbitrair. De onderzoekers 
hebben veelal gekozen voor een veel langere tijdsperiode. Ze hebben 
daarmee deze vraag in voldoende mate beantwoord. 

4) Wat is de verantwoordelijkheid van de rijksoverheid? 

In alle drie deelrapportages worden per sub-artikel en per sub-thema 
aangegeven wat de rol van de rijksoverheid is bij het onderscheiden 
beleidsprobleem. Daarbij wordt aangegeven dat het Rijk ervoor kiest in zijn 
algemeenheid in samenwerking met andere partijen vorm te geven aan het 
beleid en daarbij ervoor kiest zelf niet primair het heft in handen te hebben. 
Deze andere actoren worden vervolgens opgesomd. Hiermee is de vraag 
beantwoord. 

Kanttekening hierbij is dat we niet alleen zien dat duurzaamheidsproblemen 
de bekende milieubeleidscyclus van Winsemius, te weten: (h)erkenning, 
formulering, uitvoering en beheer passeren. Maar ook de door Winsemius al 
gesignaleerde ontwikkeling optreedt dat beleidsproblemen gedurende de 
beleidslevenscyclus soms wordt overgedragen aan andere overheidslagen. 
Of dat uitvoering en beheer bij andere maatschappelijke partners terecht 
komen. Voor de beleidsdoorlichting is de afbakening van belang omdat als, 
zoals de rekenkamer'^ constateert, de uitvoering van het beleid is 
gedecentraliseerd naar gemeenten, provincies of rechtspersonen met een 
wettelijke taak (rwt’s), de ministers nog steeds de verantwoordelijkheid 
hebben om de Tweede Kamer inzicht te verschaffen over de uitkomsten van 
het gevoerde beleid. Maar als het Rijk zowel de verantwoordelijkheid voor 
de uitvoering als voor het opstellen van het beleid heeft gedecentraliseerd 
dan hoeft de minister zich niet langer te verantwoorden tegenover de 
Tweede Kamer. 
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Het beleidsterrein en de bijbehorende uitgaven 

5) Wat is de aard en samenhang van de ingezette instrumenten? 

In alle drie sub-rapportages wordt een beknopte beschrijving van de 
beleidsinstrumenten gegeven. Daarbij is er sprake van een verschil in de 
wijze waarop de samenhang tussen het instrumentarium wordt beschreven. 
Bij subonderdeel art. 21.01 wordt bij het thema afval zowel gerefereerd aan 
het type instrument (zoals financieel, regelgeving, communicatief) als wel 
worden instrumenten gerangschikt naar doelen van het afvalbeleid. Bij het 
thema duurzaamheidsagenda subonderdeel art. 21.01 zijn de instrumenten 
ingedeeld naar type maar ook naar deelterrein. Bij het subonderdeel 21.02 
preventie en milieugebruiksruimte wordt de onderlinge samenhang 
gerelateerd aan de rol van de overheid (regisserende rol, faciliteren en 
informeren, toezicht en handhaving). Terwijl bij art 21.3 ecosystemen, 
biodiversiteit en landbouw wordt onderscheiden naar type instrumenten 
(reguleren, stimuleren, communicatie en kennis). 

Een kanttekening bij de beschrijving van de aard en samenhang van de 
ingezette instrumenten is dat de samenhang vooral wordt beschouwd 
binnen de beschrijving van de instrumenten, met uitzondering van het 
thema afval waarbij de relatie met de doelen wordt gelegd. Het begrip 
‘beleid in theorie’ wordt gehanteerd voor een opsomming van 
beleidsdoelen, verschillende instrumenten en indicatoren. Hierbij zijn de 
doelmiddelenhiërarchie en de verschillende resultaatniveaus niet altijd 
duidelijk herkenbaar. Voor een beleidsdoorlichting van een breed en 
complex beleidsartikel 21 is een reconstructie van alle veronderstellingen 
over causale en finale relaties die ten grondslag liggen aan de relaties 
tussen doelen en instrumenten te ambitieus. De onderzoekers stellen dat de 
begroting zelf minder geschikt is als sturingsinstrument en dat onderdelen 
van beleidsartikel verschillend van aard en karakter zijn. Daarnaast is er 
sprake van verschuivende taken en verschillende momenten van inzet van 
beleid. Hierdoor bevat de beleidsdoorlichting wel uitgebreide overzichten 
over doelen en instrumenten, maar biedt weinig inzicht in de beleidstheorie 
in de zin van relaties tussen doelen en instrumenten. 

De sub-rapportages bevatten wel uitspraken over de dominantie van 
bepaalde instrumenten of een prevalerende rolopvatting van de overheid 
binnen een sub-artikel of thema. En uitspraken over veranderingen in de 
keuze van instrumenten in de tijd en bijvoorbeeld een terugtredende rol van 
de rijksoverheid. Dit zijn dan feitelijk uitspraken over een keuze voor 
onderliggende interventielogica binnen dat sub-artikel en thema maar is niet 
systematisch gereconstrueerd. Waar een reconstructie van beleidstheorie in 
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termen van veronderstellingen over alle relaties tussen instrumenten en 
doelen te ambitieus is, zijn er wel aanknopingspunten bij bepaalde 
onderdelen. Omdat bij afval instrumenten worden ingedeeld naar bijdragen 
aan doelen bevat dit onderdeel de meeste uitspraken over effectiviteit (zie 
hierna). De doelen zijn bij afval ook het meest concreet en afrekenbaar 
Daar levert het onderzoeksmateriaal ook de meeste uitspraken over de 
effectiviteit van instrumenten (zie hierna). 

Een andere kanttekening is dat een te algemene conclusie over de 
effectiviteit en wenselijkheid van de inzet van bepaalde 
beleidsinstrumenten, zoals convenanten, niet mogelijk is door de verschillen 
tussen de beleidsonderdelen in artikel 21. Deze conclusies kunnen alleen in 
hun specifieke context getrokken wordenl En de keuze van 
beleidsinstrumenten hangt bijvoorbeeld ook af van Europees beleid binnen 
een bepaald beleidsthema. 

6) Met welke uitgaven gaat het beleid gepaard, inclusief kosten op andere 
terreinen of voor andere partijen? 

Het in beeld brengen van de uitgaven was het lastigste deel van de 
beleidsdoorlichting voor de onderzoekers door de wisseling van taken 
tussen ministeries en directies, de verandering in benaming van 
uitgavenposten, het vervallen van onderscheidingen tussen posten, de 
onduidelijke verdeling van budgetten over thema’s en het ontbreken van 
toelichtingen bij budgetten. Bij activiteiten die niet meer worden gedaan is 
het niet duidelijk of deze nu worden gedaan door anderen (andere 
ministeries, overheden, maatschappelijke actoren). 

Kosten voor andere partijen, bijvoorbeeld de kosten op het vlak van afval 
door gemeentelijke overheden, zijn indien beschikbaar ingeschat. 

7) Wat is de onderbouwing van de uitgaven? Hoe zijn deze te relateren aan 
de componenten volume/gebruik en aan prijzen/tarieven? 

De onderzoekers constateren dat in het algemeen in de begroting 2013 niet 
wordt beschreven op welke wijze de hoogte van de budgetten wordt 
bepaald. Begrotingen en jaarverslagen leveren weinig informatie over de 
onderbouwing van de budgetten. De meeste informatie leveren de 
wijzigingen in de gerealiseerde uitgaven ten opzichte van de begroting. 

Er wordt door de onderzoekers wel enige informatie gegeven over de 
fluctuatie van uitgaven over de jaren en verklaringen voor opvallende 
afwijkingen. 


^ Er is veel literatuur over de effectiviteit van convenanten, ook over de Nederlandse 
praktijk, die dit illusteert. 
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Overzicht van eerder uitgevoerd onderzoek naar 
doeitreffendheid en doeimatigheid 

8) Welke evaluaties (met bronvermelding) zijn uitgevoerd, op welke manier 
is het beleid geëvalueerd en om welke redenen ? 

De beleidsdoorlichting geeft een goed overzicht van relevante 
beleidsevaluaties. De onderzoekers hebben gebruik gemaakt van de door 
het ministerie aangeleverde bronnenlijst en hebben zich ingespannen met 
behulp van de begeleidingscommissies en andere experts om de meest 
relevante beleidsevaluaties te vinden. 

Door het grote aantal gebruikte evaluaties was het gegeven de kalender en 
nominale tijd onmogelijk alles met dezelfde diepgang te bestuderen en 
bespreken. De beschrijving van de evaluaties richt zich vooral op de 
evaluatieresultaten en waar deze op zijn gebaseerd. Een diepgaande 
bespreking van de keuze van evaluatiemethoden en de redenen (redenen 
zoals toepassingsmogelijkheden, kosten, complexiteit, en het belang van de 
informatie die de evaluatiemethoden opleveren) zou te ver voeren. 

9) Welke beleidsonderdelen zijn (nog) niet geëvalueerd? Inclusief uitleg 
over de (on)mogelijkheid om de doeltreffendheid en doelmatigheid van het 
beleid in de toekomst te evalueren. 

De onderzoekers hebben in de drie sub-rapportages voor zes verschillende 
thema’s (afval, duurzaamheidsagenda, bodem en water binnen het sub- 
artikel preventie en milieugebruiksruimte, ecosystemen en landbouw) een 
tabel met zogenaamde stoplichten voor doelbereiking gemaakt. Sommige 
tabellen starten bij de doelstellingen (afval), anderen bij de combinatie van 
doel, prioriteit en instrument (ecosystemen), sommige bij de indicatoren 
(water en bodem) en sommige bij beleidsdossiers (landbouw, maar ook 
informatie over doelen). Hierdoor ontstaat een beeld van welke resultaten 
en doelbereiking we wel iets weten en waar gegevens ontbreken. Deels 
wordt daarmee ook duidelijk welke beleidsonderdelen (nog) niet zijn 
geëvalueerd en waarom (namelijk door het ontbreken van beleidsinformatie 
in de vorm van gegevens of doelstellingen). Verder volgt uit de opsomming 
van beleidsonderdelen waar afrekenbare doelen ontbreken ook een beeld 
van beleidsonderdelen die nog niet zijn geëvalueerd en bij ontbreken van 
afrekenbare doelen waarschijnlijk niet zullen worden geëvalueerd, althans 
niet met een effectevaluatie. 
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10) In hoeverre maakt het beschikbare onderzoeksmateriaal uitspraken 
over de doeltreffendheid en doelmatigheid van het beleidsterrein mogelijk? 

In de sub-rapportages wordt opgesomd waar en in hoeverre het 
beschikbare onderzoeksmateriaal uitspraken over effectiviteit en 
doelmatigheid mogelijk maakt. 


De doeltreffendheid en doelmatigheid van het gevoerde beleid 

11) Welke effecten heeft het beleid gehad? Zijn er positieve en/of negatieve 
neveneffecten? 

De algemene doelstelling van Artikel 21 Duurzaamheid luidt: Het tegengaan 
van de afwenteling van de effecten van de Nederlandse productie en 
consumptie op andere leefgebieden en op toekomstige generaties. 

De RPE erkent dat de algemene doelstelling van een beleidsartikel naar zijn 
aard vaak in algemene termen is geformuleerd. De onderzoekers richten 
zich bij de beschrijving van de effecten op de drie sub-artikelen 21.01 (Afval 
en duurzaamheidsagenda), 21.03 (Preventie en milieugebruiksruimte) en 
21.03 (Ecosystemen en landbouw) en daarmee op subdoelen die bijdragen 
aan het bereiken van de algemeen doelstelling van art.21. 

Aan de algemene doelstelling zijn in de begroting van 2013 geen 
subdoelstellingen of tussendoelstellingen gekoppeld. Deze hebben de 
onderzoekers moeten halen uit eerdere begrotingen en beleidsdocumenten 
die onder het beleidsartikel vallen. Er is niet getracht de doelenhiërarchie in 
de vorm van doelbomen te schetsen omdat die naar verwachting te 
complex zouden worden. Wel is een eenvoudige doelboom in hoofdrapport 
opgenomen voor het hoofddoel van artikel 21 en de doelen van de sub- 
artikelen. In deze doeleindenhiërarchie ontbreken behalve de verdere 
uitsplitsing van de subdoelen, het Europese beleid en het beleid van andere 
ministeries. De reconstructie van de doelenhiërarchie op deze wijze is een 
verdedigbare keuze, vooral gezien de operationaliseerbaarheid van de 
algemene doelstelling. De onderzoekers hebben ook getracht om meer 
concrete doelstellingen voor het beleid te vinden die in ander stukken 
(bijvoorbeeld Landelijk Afvalplannen) zijn geformuleerd. Daarbij ontstaat wel 
een verschil in concreetheid van doelstellingen. In de sub-rapportages zijn 
ook expliciet neveneffecten onderscheiden. 

Bij de gevolgde werkwijze willen we een aantal kanttekeningen plaatsen: 

De effecten van beleid worden heel verschillend benoemd, zoals 
maatschappelijke effecten, beleidseffecten, specifieke effectdelen, etc. 


18 



Daarnaast wordt gesproken van kengetallen, prestatie-indicatoren, 
effectindicatoren, etc. Om vast te kunnen stellen in hoeverre 
beleidsresultaten zijn bereikt zijn meestal indicatoren nodig, omdat deze 
resultaten vaak niet in direct meetbare eenheden maar abstracte termen 
zijn geformuleerd. De onderzoekers spreken in het kader van de 
beantwoording van vraag 11 over goal free evaluatie; het vaststellen 
van de effecten ongeacht de doelen van beleid. Dit is dan echter een 
overzicht van alle beleidseffecten maar laat geen uitspraken over 
doelbereiking toe. De onderzoekers constateren terecht dat voor een 
beleidsdoorlichting uitspraken over doelbereiking noodzakelijk zijn om 
conclusies over doeltreffendheid te kunnen trekken. Er is daarbij echter 
een verschil tussen een situatie-onderzoek en een 
doelbereikingsonderzoek. Bij een situatie-onderzoek wordt de situatie 
op een beleidsveld, thema, onderdeel of dossier met behulp van 
indicatoren en kengetallen in beeld gebracht. Doelen zijn beoogde 
effecten, het gaat dan niet om alle effecten maar om een selectie uit de 
effecten, namelijk de effecten die men beoogde te bereiken. Door het 
ontbreken van doelen hebben sommige onderdelen van de 
beantwoording van vraag 11 in de beleidsdoorlichting het karakter van 
een situatie-onderzoek. Maar strikt genomen is dit ook wat vraag 11 
vraagt. De RPE suggereert bij het schetsen van effecten, naast de 
uitgevoerde evaluatieonderzoeken, ook gebruik te maken van ander 
bronnenmateriaal. Zo zijn bijvoorbeeld wat betreft de duurzaamheid van 
de Nederlandse samenleving in algemene zin kengetallen te vinden in 
de Monitor Duurzaam Nederland. Maar als deze kengetallen niet 
worden gekoppeld worden aan de beleidsdoelen ontstaat een beeld van 
een situatie en niet van doelbereiking. En zoals al gesteld: conclusies 
over doelbereiking zijn belangrijk omdat om doeltreffendheid vast te 
kunnen stellen, we eerst een uitspraak over doelbereiking moeten 
hebben. De informatie in de genoemde doelbereikingstabellen is nu heel 
divers en soms expliciet gerelateerd aan doelen, soms aan bij de 
begroting genoemde kengetallen en soms niet herleidbaar waarom deze 
indicator is opgenomen in relatie tot welke doelen. 

Een derde kanttekening is dat op het niveau van de algemene 
duurzaamheidsdoelstelling art.21 alle duurzaamheidskengetallen en 
monitoringsgegevens als indicator kunnen fungeren. Daarbij gelden 
natuurlijk wel de algemene methodologische voorwaarden dat er een 
voldoende sterke relatie is tussen het criterium duurzaamheid en de 
indicatoren, dat er geen interveniërende factoren tussen het criterium 
duurzaamheid en de gekozen indicatoren zijn en dat de indicatoren alle 
dimensies van het criterium duurzaamheid omvatten. Naast de 
ecologische dimensie van duurzame ontwikkeling is er ook nog een 
sociale en economische dimensie, die ook tot uitdrukking komt in de 



kapitalenbenadering van duurzame ontwikkeling. Uitspraken over 
doelbereiking en doeltreffendheid op het niveau van de sub-artikel 21.01 
(Afval en duurzaamheidsagenda), 21.03 (Preventie en 
milieugebruiksruimte) en 21.03 (Ecosystemen en landbouw) betreft 
vooral de bijdrage aan het bereiken aan de ecologische dimensie van 
de algemene doelstelling van art.21. Duurzaamheid. 

Een vierde kanttekening is het meten van doelbereiking. Idealiter gaat 
het meten van doelen op basis van een richting, kwantiteit en 
tijdsperiode. De informatie in de doelbereikingstabellen is hierin niet 
altijd duidelijk. Verder is de vergroting of vermindering van de kwantiteit 
van de effecten maar één dimensie van doelbereiking. Er is ook nog 
sprake van de koppeling aan een streefwaarde en aan een tijdshorizon 
waarbinnen de effecten moeten zijn gerealiseerd. Maar dit komt voor 
een belangrijk deel door het gebrek aan specifiek, meetbaar, 
bereikbaar, relevant en tijdgebonden (SMART) doelen. Dit relateert aan 
de door de Rekenkamer en anderen gesignaleerde problemen met de 
kwaliteit van beleidsinformatie bij de Rijksoverheid in het algemeen. 

Een vijfde kanttekening betreft het onderscheid tussen gerealiseerde 
beleidsprestaties en effecten van het gevoerde beleid. Als we een doel 
opvatten als al datgene wat een actor wil bereiken, zijn er doelen in 
termen van beleidsprestaties (output) die echter zoals de onderzoekers 
aangeven een indirecte relatie hebben met de beoogde effecten 
(outcome). Als het realiseren van beleidsprestaties valt binnen de 
directe verantwoordelijkheid van de minister, zoals wetgeving, het 
verstrekken van subsidies of het voeren van overleg dan zegt het 
realiseren van deze beleidsprestaties weinig over de doeltreffendheid 
van het beleid. Ut de rapportages wordt wel duidelijk dat bij een 
bepaalde terugtredende rol van de rijksoverheid beleidsprestaties zoals 
convenanten, die het stokje als het ware overdragen aan 
maatschappelijke partners, het vaststellen en meten van 
beleidsprestaties belangrijker worden. 

12) Hoe doeltreffend is het beleid geweest? 

De doeltreffendheid is de mate waarin het gevoerde beleid heeft 
bijgedragen aan het halen van de algemene doelstelling. Om uitspraken te 
kunnen doen over doeltreffendheid zijn de onderzoekers afhankelijk van het 
beschikbare onderzoeksmateriaal. Het vaststellen van effecten en de 
conclusies dat er wel of niet doelbereiking is, is geen antwoord op de vraag 
naar doeltreffendheid. Doelbereiking kan ook worden veroorzaakt door 
andere factoren dan het beleid, bijvoorbeeld door de economische crisis 
ontstaat er minder afval. Het vaststellen dat bepaalde beleidsprestaties zijn 
bereikt is slechts een eerste stap in de keten van oorzaken en gevolgen die 
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tot uiteindelijke beleidseffecten leidt. Dat een ministerie een beleidsprestatie 
tot stand brengt en niet een andere maatschappelijke partner is vaak nog 
met grote mate van zekerheid vast te stellen. Daarbij zijn weinig 
verstorende factoren. Maar het uiteindelijke effect van de beleidsprestatie, 
zoals verleende vergunning of afgesloten convenant, in een ecosysteem op 
lange termijn is heel moeilijk vast te stellen. Omdat in de keten van 
oorzaken en gevolgen in de tijd bij het relateren van geconstateerde 
beleidseffecten aan het beleid veel rivaliserende factoren anders dan het 
beleid optreden. 

De sub-rapportages bevatten uitspraken over effectiviteit zover af te leiden 
uit bestaande effectiviteitstudies. Uiteindelijk gaat bij een beleidsdoorlichting 
om de doeltreffendheid van alle onderzochte beleidsinstrumenten samen, in 
hun onderlinge samenhang op de algemene doelstelling art 21. Een 
uitspraak over effectiviteit is eigenlijk ook de vraag wat was er gebeurd als 
het beleid er niet was geweest? 

De totaalconclusie dat de doeltreffendheid van het beleid voor 
duurzaamheid redelijk tot goed \s kan alleen betrekking hebben op het 
beschouwde en onderzochte beleid en het beschikbare 
onderzoeksmateriaal. In de duurzaamheidsmonitor 2011 staat de helft van 
de indicatoren in het rood. Duidt dit op een falen van het Nederlandse 
duurzaamheidsbeleid als we dit vergelijken met andere landen? In de 
literatuur wordt het experiment beschouwd als de meest elegante manier 
om te testen of de causale relatie tussen het gewenste beleid en de 
doelbereiking bestaat. Als we de Nederlandse duurzaamheid vergelijken 
met andere landen is dit geen echte experimentele opzet,omdat andere 
landen bijvoorbeeld qua milieudruk en economische structuur slecht 
vergelijkbaar zijn met Nederland. En bij doeltreffendheid is het de vraag of 
het zonder beleid niet nog slechter was geweest. 

Het beschouwde beleid beperkte zich tot het deel van artikel 21 waarvoor 
het ministerie van Infrastructuur en Milieu en de directie Duurzaamheid 
trekker is. Alleen voor dat deel kunnen conclusies getrokken worden. En dit 
alleen voor zover dit gebaseerd kan worden op bestaande studies. De 
doelbereiking van beleid kan heel hoog zijn en de doeltreffendheid toch heel 
laag en omgekeerd, omdat het immers gaat om de vraag of het beleid heeft 
bijgedragen aan de (hoe) doelbereiking. 

Probleem met een conclusie over de overal doelstelling van artikel 21 is ook 
de operationalisering van het begrip duurzame ontwikkeling. De optelsom 
van de drie sub-artikelen leiden tot een conclusie over ecologische 
duurzaamheid, eventueel als kader voor economische en sociale 
ontwikkelingen. De formulering van de tekst van artikel 21, het tegengaan 
van de afwenteling van de effecten van de Nederlandse productie en 
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consumptie op andere leefgebieden en op toekomstige generaties, kan 
breder worden opgevat als een evenwichtige ecologische, economische en 
sociale ontwikkeling. 

13) Hoe doelmatig is het beleid geweest? 

Bij de doelmatigheid moeten de kosten van het beleid worden afgewogen 
tegen de effecten van het beleid. Om uitspraken te kunnen doen over 
doelmatigheid zijn de onderzoekers afhankelijk van het beschikbare 
onderzoeksmateriaal van evaluatieonderzoeken waarin doelmatigheid vaak 
ontbreekt. Ondanks het onduidelijke beeld over de precieze uitgaven 
signaleren de onderzoekers een trend van steeds kleinere budgetten en 
steeds minder menskracht bij de directie duurzaamheid. Hoewel de 
onderzoekers geen expliciet oordeel geven suggereert het onderzochte deel 
dat de uitvoeringskosten van het rijksbeleid dalen. Als minder menskracht 
ook betekent minder taken en als de inspanningen en activiteiten zijn 
overgenomen door maatschappelijke partners en andere overheden, dan 
zou er sprake zijn van een groter effect tegen dezelfde maatschappelijke 
kosten en/of lagere uitvoeringskosten voor het rijk. 
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Bruikbaarheid aanbeveiingen 


In deze paragraaf beantwoorden we de derde vraag; zijn de aanbevelingen 
voor de bijsturing van het beleid passend en voldoende onderbouwd? 

De aanbevelingen spitsen zich toe op een nieuw terugtredende rol van de 
rijksoverheid en een pleidooi voor een verdere uitbouw van de al in gang 
gezette nieuwe sturingsfilosofie. 

De transitie van het beleid en de terugtredende en nieuwe rol van de 
rijksoverheid zijn terechte constateringen. De terugtred betekent dat we 
wellicht ook andere beleidsprestaties en effecten kunnen verwachten van 
het rijksbeleid. 

In het algemeen kan verklaring van de mate van doeltreffendheid van beleid 
liggen in een falende beleidstheorie of in een falende beleidsuitvoering. 
Aanbevelingen gericht op een nieuwe sturingsfilosofie zijn op zich logisch 
maar volgen strikt genomen niet uit de synthese evaluatie. We weten 
immers nog niet of de nieuwe aanpak meer doeltreffend is, althans dat is in 
de beleidsdoorlichting niet in de breedte onderzocht. De roep om een 
nieuwe interventielogica, terwijl het oordeel over de effectiviteit van het 
huidige beleid volgens de beleidsvoorlichting vrij positief is, wordt 
onderbouwd met het argument van de nieuwe maatschappelijke rol van de 
overheid maar ook met de afnemende opbrengsten van het huidige beleid 
en de afnemende middelen van de rijksoverheid. Dit veronderstelt dat de 
nieuwe sturingsfilosofie doelmatiger is, terwijl een duidelijk oordeel over de 
doelmatigheid van het huidige beleid ontbreekt. 

De constatering van een afnemende trend in doeltreffendheid levert 
verwarring op ten aanzien van de gehanteerde vergelijkingsbases en de 
bereikte situatie in 2013. Bij doelbereiking is er sprake van een 
uitgangssituatie aan het begin van de evaluatieperiode en een beoogde 
situatie voor het eind van de evaluatieperiode. Het is verwarrend om te 
stellen dat een deel van de doelen al bereikt was voor de evaluatieperiode. 
De bereikte verbetering in de beleidsdoorlichtingsperiode wordt immers 
afgemeten aan de uitgangssituatie bij het begin van de periode (2006) en 
de bereikte situatie aan het einde van de periode (2013). De constatering 
dat de bereikte verbeteringen in voorgaande perioden groter waren dan in 
23 



de evaluatieperiode kan. Dit is echter niet noodzakelijkerwijs een 
afnemende doeltreffendheid. Wellicht was de bijdrage van het beleid aan de 
doelbereiking in de periode 2006-1013 wel groter dan daarvoor, maar is de 
absolute bereikte verbetering kleiner. Daarbij is er sprake van een ideale of 
volmaakt geachte te bereiken situatie. 

De effecten van de nieuwe sturingsfilosofie zijn anders geformuleerd, 
namelijk als datgene wat de rijksoverheid aan activiteiten bij 
maatschappelijke partners realiseert. Het roept dan vragen op hoe zich dit 
verhoudt tot de te bereiken effecten, vaak ingegeven door Europees beleid, 
aan het einde van de oorzaak- en gevolgketens in de vorm van bijvoorbeeld 
effecten in ecosystemen. En over de verantwoordelijkheid van de minister 
voor de uiteindelijke effecten en de manipuleerbaarheid en meetbaarheid 
van deze processen. 

Als in de nieuwe sturingsfilosofie wordt gesproken van een aanjaagfunctie 
dat bij andere partijen activiteiten uitgelokt is, dan is de vraag wie er 
verantwoordelijk is voor de volgende stap in de keten van oorzaken en 
gevolgen. Er is in de beleidsdoorlichting wat verwarring over 
interveniërende factoren en actoren bij doeltreffendheid in de zin van een 
rivaliserende verklaring voor het beleid bij het veroorzaken van 
beleidseffecten. Als een andere actor onderdeel uitmaakt van een gekozen 
oorzaak en gevolg relatie (rijksoverheid stimuleert actor x, actor x doet y) 
dan is dit geen intervenieerde actor of factor. Als burgers of andere partijen 
zelfstandig besluiten om initiatieven te nemen dan kan dit wel een 
intervenieerde factor zijn die de hoogte van optredende effecten verklaart. 

In het eerste geval is er sprake van een verandering van de beleidstheorie. 
We proberen met andere instrumenten en een andere interventielogica 
effecten te bereiken. Maar is hierbij ook sprake van het terugschroeven van 
de beleidsambitie? En als de nieuwe sturingsfilosofie vraagt om handelen 
van andere maatschappelijke actoren en als deze andere actoren hun 
verantwoordelijkheid nemen dan houdt de verantwoordelijkheid van de 
vakminister op? 
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